Sau thất bại tại trận Điện Biên Phủ, người Pháp phải rút khỏi Việt Nam. Nhằm diệt trừ các mầm mống cát cứ và các thế lực chính trị, tôn giáo có thể gây trở ngại cho quyền lực của mình, Thủ tướng Quốc gia Việt Nam Ngô Đình Diệm đã mua chuộc gây chia rẽ và làm phân hóa các lực lượng vũ trang giáo phái, đảng phái. Các tướng Cao Đài Nguyễn Thành Phương, Trịnh Minh Thế đều bị mua chuộc, khiến binh sĩ Cao Đài bị chia rẽ nghiêm trọng. Trước áp lực của chính phủ Diệm, ngày 2 tháng 5 năm 1955, Hộ pháp Phạm Công Tắc phải ra lệnh giải thể quân đội Cao Đài.[5] Tuân lệnh Tòa Thánh, ông tập kết đơn vị thuộc quyền về Giang Tân (nay thuộc huyện Hòa Thành) để chuẩn bị giải thể.

Mặc dù vậy, ngày 5 tháng 10 năm 1955, tướng Nguyễn Thành Phương vẫn ra lệnh cho binh sĩ thuộc quyền tiến vào Tòa Thánh Tây Ninh gây áp lực với Hộ pháp Phạm Công Tắc. Phản ứng trước hành động này, ông tập hợp lại bộ thuộc cũ, kéo quân về chiếm lĩnh vùng Núi Bà ra tới cửa Hòa Viện[6], nhằm đối trọng với lực lượng của tướng Nguyễn Thành Phương, đồng thời gây áp lực để bảo vệ an toàn cho Hộ pháp Phạm Công Tắc. Không lâu sau, ông bị quân của tướng Nguyễn Thành Phương phục kích, bắn gãy tay, nhưng may mắn thoát chết.[7] Do hành động kéo quân về hộ giá, ông được Hộ pháp Phạm Công Tắc cấp Huân chương vì đã có công giải vây, bảo vệ.[4]

Mặc dù vậy, trước lực lượng áp đảo của tướng Nguyễn Thành Phương, Hộ pháp Phạm Công Tắc quyết định lưu vong. Nhận biết được quyết định này, ông ra lệnh cho các bộ thuộc hỗ trợ cho Hộ pháp đào thoát an toàn, sau đó đưa đơn vị ra rừng ở Phạm Xoài (nay thuộc xã Ninh Điền, huyện Châu Thành, tỉnh Tây Ninh) và giải thể.